Cross Entropy

두 Probability distribution 사이의 차이(Distance)를 측정하는 함수.

H (p, q) = - i \sum p (x_{i}) lo g q (x_{i}) = E_{p (X)} [lo g q (X)]

: $p$ 는 실제분포, $q$ 는 예측 분포.

$q$ 가 $p$ 와 유사할 수록 Cross Entropy값은 작아지게 된다. 즉, 불확실성이 작아지게 된다. 계산과 미분의 편의를 위해 natural log를 사용한다.

이는 $q$ 라는 믿음 하에 최적의 bit수를 할당한 것이다.

Kullback-Leiber(KL) divergence

relative entropy라고도 불린다.

KL (p ∣∣ q) = H (p (x), \frac{q ( x )}{p ( x )}) = - x \sum p (x) lo g_{2} \frac{q ( x )}{p ( x )} = H (p, q) - H (P)

:실제 분포 $p$ 에 비해 얼마나 bit가 낭비 되는지를 의미한다. 혹은, $p$ 와 $q$ 사이의 유사도가 얼마나 떨어지는지를 의미한다.

Jensen's inequality에 의해, 항상 그 값이 $0$ 이상이게 된다. 이는, $p$ 와 $q$ 사이의 유사성이 최대일때 $0$ 이 됨을 의미한다.

KL (p ∣∣ q) = E_{P} [- lo g \frac{Q ( X )}{P ( X )}] \geq - lo g E_{P} [\frac{Q ( X )}{P ( X )}] = - lo g x \sum Q (x) = 0

$Q (x)$ 는 확률분포이니, 다 더하면 $1$ 이므로 최소한 0보다 크다.